从0开始学web——ctfshow web入门:信息搜集

【1】robots是搜索引擎爬虫协议,也就是你网站和爬虫的协议。【2】由于robots文件是一个纯文本文件,也就是常见的.txt文件,而且必须要存放在网站的根目录下,所以域名/robots.txt是可以访问文件...